Masked Modeling

定义 Definition

“Masked modeling” 指一种机器学习训练方法：在输入数据中随机遮盖（mask）一部分信息，让模型根据上下文去预测被遮盖的部分。最常见的是自然语言处理中的 Masked Language Modeling（MLM，掩码语言建模），也可扩展到图像、音频等模态（如 masked image modeling）。

发音 Pronunciation

/ˈmæskt ˈmɑːdəlɪŋ/

例句 Examples

Masked modeling helps a language model learn grammar and meaning from large amounts of text.
掩码建模帮助语言模型从海量文本中学习语法与语义。

By using masked modeling during pretraining, the system can infer missing information from context and generalize better to downstream tasks.
在预训练阶段使用掩码建模，系统能从上下文推断缺失信息，并更好地泛化到下游任务。

词源 Etymology

“Masked” 来自 mask（面具/遮罩），在机器学习语境中引申为“把一部分输入遮住/置空”；“modeling” 来自 model（模型），表示“建模/训练建模过程”。合起来即“通过遮盖部分输入来进行预测式训练的建模方法”。在 NLP 领域，该术语因 BERT 等模型的预训练任务而广泛流行。

相关词 Related Words

• Bert
• Mask
• Pretraining
• Fine-Tuning
• Context
• Transformer
• Language-Model
• Denoising
• Cloze
• Self-Supervised-Learning

文学与作品 Literary Works

• BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding（Devlin et al., 2018/2019）——提出并推广以 masked language modeling 为核心的预训练任务。
• RoBERTa: A Robustly Optimized BERT Pretraining Approach（Liu et al., 2019）——讨论并改进基于 masked modeling 的预训练策略。
• Masked Autoencoders Are Scalable Vision Learners（He et al., 2021）——将 masked modeling 思路系统化扩展到视觉领域（masked image modeling）。